Lê Văn Duyệt, còn gọi là Tả Quân Duyệt, sinh năm 1763 hoặc 1764 tại vàm Trà Lọt, thuộc làng Hòa Khánh, huyện Kiến Phong, tỉnh Định Tường, về sau gọi là xã Hòa Khánh thuộc huyện Cái Bè, tỉnh Mỹ Tho (nay là tỉnh Tiền Giang).

Ông nội của Lê Văn Duyệt là Lê Văn Hiếu từ làng Bồ Đề, huyện Mộ Đức, tỉnh Quảng Ngãi vào đây sinh sống. Tổ tiên ông có nguồn gốc xa xưa ở làng Tề Lỗ, huyện Yên Lạc, tỉnh Sơn Tây (về sau thuộc tỉnh Vĩnh Yên, nay là tỉnh Vĩnh Phúc). Sau khi Lê Văn Hiếu qua đời vì dịch bệnh thiên thời,[5] cha ông là Lê Văn Toại rời vùng Trà Lọt đến ngụ tại vùng Rạch Gầm, làng Long Hưng, huyện Kiến Hưng, tỉnh Định Tường, về sau gọi là xã Long Hưng thuộc huyện Châu Thành, tỉnh Mỹ Tho (nay là tỉnh Tiền Giang).

Lê Văn Toại có tất cả bốn người con trai[6] Lê Văn Duyệt là con trưởng. Sử cũ mô tả ông là người thấp bé, nhưng lại có sức mạnh hơn người,[7] từng được coi là một trong "ngũ hổ tướng" ở Gia Định.[8]